Stay Within Your Bounds: Distance-Guided Decoding for Guaranteed Context-Free Grammar Compliance
边界内生成：距离引导解码保证上下文无关文法合规
🧭 LLM 约束解码 · CFG 合规
University of Luxembourg · Imperial College London
用基于下推自动机的有界摘要与距离上界做 lookahead 剪枝，保证 LLM 输出一定被目标 CFG 接受
📌 工作参考价值（4 点）
- 在 Agent 需要输出 JSON/SQL/查询计划等结构化内容时，可借鉴 distance-guided 可达性摘要替代只看 next token 是否可行的局部约束，避免生成长前缀后因 tokenizer-grammar 不匹配或 token 预算耗尽而无法到达接受状态。
- 离线预计算有界下推摘要和距离上界标签，在线解码时直接用于 horizon-aware pruning，比每次暴力做可完成性检查更适合低延迟线上结构化生成。
- 对电商/广告场景中要求模板或 DSL 合规的文案、推荐解释、规则策略生成，可以定义目标 CFG 后复用该框架，将语法合法从“尽量”变成“保证”。
- 若业务已有 JSON Schema 或 SQL 语法约束，可考虑把 grammar 编译为 PDA 摘要并接入 beam search，提升生成完成率和结构质量，而不是仅依赖 prompt 或局部 token mask。